Image restoration tasks have achieved tremendous performance improvements with the rapid advancement of deep neural networks. However, most prevalent deep learning models perform inference statically, ignoring that different images have varying restoration difficulties and lightly degraded images can be well restored by slimmer subnetworks. To this end, we propose a new solution pipeline dubbed ClassPruning that utilizes networks with different capabilities to process images with varying restoration difficulties. In particular, we use a lightweight classifier to identify the image restoration difficulty, and then the sparse subnetworks with different capabilities can be sampled based on predicted difficulty by performing dynamic N:M fine-grained structured pruning on base restoration networks. We further propose a novel training strategy along with two additional loss terms to stabilize training and improve performance. Experiments demonstrate that ClassPruning can help existing methods save approximately 40% FLOPs while maintaining performance.
translated by 谷歌翻译
Dimage Dehazing是低级视觉中的一个活跃主题，并且随着深度学习的快速发展，已经提出了许多图像去悬式网络。尽管这些网络的管道效果很好，但改善图像飞行性能的关键机制尚不清楚。因此，我们不针对带有精美模块的飞行网络。相反，我们对流行的U-NET进行了最小的修改，以获得紧凑的飞行网络。具体而言，我们将U-NET中的卷积块与门控机构，使用选择性内核进行融合，并跳过连接，并调用所得的U-NET变体Gunet。结果，由于开销大大减少，Gunet优于多个图像脱掩的数据集上的最新方法。最后，我们通过广泛的消融研究来验证这些关键设计为图像去除网络的性能增益。
translated by 谷歌翻译
无监督的域对点云语义分割的适应性引起了极大的关注，因为它在没有标记的数据中学习有效性。大多数现有方法都使用全局级特征对齐方式将知识从源域转移到目标域，这可能会导致特征空间的语义歧义。在本文中，我们提出了一个基于图形的框架，以探索两个域之间的局部特征对齐，可以在适应过程中保留语义歧视。具体而言，为了提取本地级特征，我们首先在两个域上动态构建本地特征图，并使用来自源域的图形构建存储库。特别是，我们使用最佳传输来生成图形匹配对。然后，基于分配矩阵，我们可以将两个域之间的特征分布与基于图的本地特征损失对齐。此外，我们考虑了不同类别的特征之间的相关性，并制定了类别引导的对比损失，以指导分割模型以学习目标域上的区分特征。对不同的合成到现实和真实域的适应情景进行了广泛的实验表明，我们的方法可以实现最先进的性能。
translated by 谷歌翻译
在产生无形的后门攻击中毒数据期间，特征空间转换操作往往会导致一些中毒特征的丧失，并削弱了与触发器和目标标签之间的源图像之间的映射关系，从而导致需要更高的中毒率以实现相应的后门攻击成功率。为了解决上述问题，我们首次提出了功能修复的想法，并引入了盲水印技术，以修复在中毒数据中损失的中毒特征。在确保一致的标签的前提下，我们提出了基于功能维修的低毒速率看不见的后门攻击，名为FRIB。从上面的设计概念中受益，新方法增强了源图像与触发器和目标标签之间的映射关系，并增加了误导性DNN的程度，从而获得了高后门攻击成功率，中毒率非常低。最终，详细的实验结果表明，在所有MNIST，CIFAR10，GTSRB和Imagenet数据集中实现了高成功攻击成功率的高成功率的目标。
translated by 谷歌翻译
对比学习在图表学习领域表现出了巨大的希望。通过手动构建正/负样本，大多数图对比度学习方法依赖于基于矢量内部产品的相似性度量标准来区分图形表示样品。但是，手工制作的样品构建（例如，图表的节点或边缘的扰动）可能无法有效捕获图形的固有局部结构。同样，基于矢量内部产品的相似性度量标准无法完全利用图形的局部结构来表征图差。为此，在本文中，我们提出了一种基于自适应子图生成的新型对比度学习框架，以实现有效且强大的自我监督图表示学习，并且最佳传输距离被用作子绘图之间的相似性度量。它的目的是通过捕获图的固有结构来生成对比样品，并根据子图的特征和结构同时区分样品。具体而言，对于每个中心节点，通过自适应学习关系权重与相应邻域的节点，我们首先开发一个网络来生成插值子图。然后，我们分别构建来自相同和不同节点的子图的正和负对。最后，我们采用两种类型的最佳运输距离（即Wasserstein距离和Gromov-Wasserstein距离）来构建结构化的对比损失。基准数据集上的广泛节点分类实验验证了我们的图形对比学习方法的有效性。
translated by 谷歌翻译
从\ emph {nocedended}点云中重建3D几何形状可以使许多下游任务受益。最近的方法主要采用神经网络的神经形状表示，以代表签名的距离字段，并通过无签名的监督适应点云。但是，我们观察到，使用未签名的监督可能会导致严重的歧义，并且通常会导致\ emph {意外}故障，例如在重建复杂的结构并与重建准确的表面斗争时，在自由空间中产生不希望的表面。为了重建一个更好的距离距离场，我们提出了半签名的神经拟合（SSN拟合），该神经拟合（SSN拟合）由半签名的监督和基于损失的区域采样策略组成。我们的关键见解是，签名的监督更具信息性，显然可以轻松确定对象之外的区域。同时，提出了一种新颖的重要性抽样，以加速优化并更好地重建细节。具体而言，我们将对象空间弹并分配到\ emph {sign-newand}和\ emph {sign-unawern}区域，其中应用了不同的监督。此外，我们根据跟踪的重建损失自适应地调整每个体素的采样率，以便网络可以更多地关注复杂的拟合不足区域。我们进行了广泛的实验，以证明SSN拟合在多个数据集的不同设置下实现最新性能，包括清洁，密度变化和嘈杂的数据。
translated by 谷歌翻译
主要的图像到图像翻译方法基于完全卷积的网络，该网络提取和翻译图像的特征，然后重建图像。但是，在使用高分辨率图像时，它们的计算成本不可接受。为此，我们介绍了多曲线翻译器（MCT），它不仅可以预测相应的输入像素的翻译像素，还可以预测其相邻像素的翻译像素。而且，如果将高分辨率图像删除到其低分辨率版本中，则丢失的像素是其余像素的相邻像素。因此，MCT可以使网络仅馈入倒数采样的图像以执行全分辨率图像的映射，从而大大降低计算成本。此外，MCT是一种使用现有基本型号的插件方法，仅需要更换其输出层。实验表明，MCT变体可以实时处理4K图像，并比各种逼真的图像到图像翻译任务上的基本模型实现可比甚至更好的性能。
translated by 谷歌翻译
在本文中，我们介绍了VCSL（视频复制段本地化），这是一种新的综合段级注释的视频复制数据集。与受视频级注释或小规模限制的现有复制检测数据集相比，VCSL不仅具有两个段级标签的数据级，其中有160k现实的视频副本对，其中包含超过280k的本地化copied seggment对，而且还包含超过280k涵盖各种视频类别和各种视频持续时间。每个收集的视频对中的所有复制段均经过手动提取，并伴随着精确注释的启动和结束时间戳。除了数据集外，我们还提出了一种新颖的评估协议，该协议可以更好地衡量视频对之间复制重叠段的预测准确性，并在不同情况下显示出改善的适应性。通过使用拟议的数据集和评估指标对几个基线和最先进的细分级视频副本检测方法进行基准测试，我们提供了一项全面的分析，可以揭示当前方法的优势和劣势作品。 VCSL数据集，公制和基准代码均在https://github.com/alipay/vcsl上公开获得。
translated by 谷歌翻译
基于草图的3D形状检索是一项具有挑战性的任务，这是由于草图和3D形状之间的较大域差异。由于现有方法是在相同类别上进行培训和评估的，因此他们无法有效地识别培训期间未使用的类别。在本文中，我们建议用于基于零素描的3D检索的新型域分解生成对抗网络（DD-GAN），该域可以检索训练过程中未访问的不看到的类别。具体而言，我们首先通过删除草图和3D形状的学习特征来生成域不变的特征和特定于域特异性特征，在该特征中，域，域，不变的特征用于与相应的单词嵌入在一起。然后，我们开发了一个生成的对抗网络，该网络将所见类别的特定域特征与对齐的域不变特征结合在一起，以合成样品，在其中使用相应的单词嵌入式生成了看不见类别的合成样本。最后，我们使用看不见类别的综合样本与可见类别的真实样本相结合来训练网络进行检索，以便可以识别出看不见的类别。为了减少域移位问题，我们利用未看到的未见样本来增强歧视者的歧视能力。通过鉴别器将生成的样品与未看到的看不见的样品区分开，生成器可以生成更现实的看不见的样品。 SHEREC'13和SHEREC'14数据集的广泛实验表明，我们的方法显着提高了看不见类别的检索性能。
translated by 谷歌翻译
最近开发的基于粒子的变分推理（PARVI）方法通过迭代更新粒子的位置驱动一组\ EMPH {固定权重}粒子的经验分布。然而，固定的重量限制大大限制了经验分布的近似能力，特别是当粒子数有限时。在本文中，我们提出根据Fisher-Rao反应流动动态调整粒子的重量。我们根据新颖的连续复合流动开发了一种通用的动态重量粒子变分推理（DPVI）框架，其同时演化颗粒的位置和重量。我们表明，我们的复合流的平均场限制实际上是某些不相似函数$ \ mathcal {f} $的Wasserstein-fisher-Rao梯度流量，这导致$ \ mathcal {f} $的速度更快地减少Wassersein梯度流动现有的固定重量帕维。通过在我们的总框架中使用不同的有限粒子近似，我们推出了几种高效的DPVI算法。经验结果展示了我们的固定重量对应物的衍生DPVI算法的优越性。
translated by 谷歌翻译